Tổ tiên nhiều đời nhà Ban Cố là quý tộc nổi tiếng từ thế kỷ III TCN ở vùng biên giới phía tây bắc với nghề chăn thả và kinh doanh bò, ngựa với quy mô tới vài nghìn con. Gia đình họ Ban buôn bán bò ngựa và khuyến khích các gia đình khác di chuyển ra vùng biên giới[1].

Tổ 7 đời của Ban Cố là Ban Nhất. Ban Nhất sinh ra Ban Nhũ. Từ đời tổ thứ năm của Ban Cố, họ Ban trở thành quý tộc, làm quan đến chức thái thú Thượng Cốc. Cụ nội Ban Cố là Ban Huống làm chức Tào kỵ hiệu úy thời Tây Hán. Con gái Ban Huống được vào cung làm tiệp dư của Hán Thành Đế.

Ông nội Ban Cố là Ban Trĩ làm Quảng Bình tướng thời Hán Ai Đế. Trong các anh em Ban Trĩ thì Ban Du nổi tiếng nhất về văn thơ, từng cộng tác cùng Lưu Hướng trong việc điển hiệu mật thư của triều đình.

Cha Ban Cố là Ban Bưu (班彪), một sử gia có tiếng. Ban Cố sinh năm 32 tại Phù Phong, An Lăng (nay là Hàm Dương, Thiểm Tây). Gia đình họ Ban đến đời Ban Bưu đã tích lũy được một kho sách lớn và do đó có nhiều học giả, nho sĩ qua lại mượn sách và trao đổi học vấn[2].